Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models
超越因果掩码：审计与定位自适应序列模型中的隐藏未来token泄漏
🧭 自回归模型因果性审计与泄漏定位
School of Artificial Intelligence, Guilin University of Electronic Technology · Department of Electrical Engineering, University of Chile
揭示自适应路由解码器中全序列summary造成未来token泄漏，提出审计与定位方法并修复验证
📌 工作参考价值（4 点）
- 在电商/推荐场景使用 LLM 或生成式推荐模型时，若架构中包含序列级 pooling、动态路由、summary broadcast、时间卷积等模块，即使 attention mask 正确，也可能引入未来 token 泄漏。应建立 prefix-invariance 审计流程，加入训练回归测试。
- 评估生成式推荐或 Agent 策略模型时，不要只看 teacher-forced loss 的下降。必须补充自由运行生成评估（如参考模型 perplexity、生成质量指标），防止隐藏泄漏造成虚假架构收益。
- 可复用 LeakScore（最大前缀输出差异）作为轻量诊断工具，在每次架构改动或新 checkpoint 上线前检测跨位置信息泄漏；尤其适合 MoE routing、自适应残差连接等动态路径。
- 工程实现中，动态路由的 query 路径应只使用 prefix-only 统计量，避免广播全序列 summary；对 KV cache 在不同数值精度下的一致性也要纳入检查，防止类似泄漏。